# -*- coding: utf-8 -*-
# @Time        :2024/10/31 下午4:49
# @Author      :文刀水寿
# @File        : 03_数据计算_flatmap.py
"""
 @Description :演示RDD的flatmap成员方法的使用
 对rdd执行map操作，然后进行解除嵌套操作
"""
from pyspark import SparkConf, SparkContext
import os

os.environ['PYSPARK_PYTHON'] = "D:/Python/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

# 准备一个RDD
rdd = sc.parallelize(["itheima itcast 666", "itheima itheima itcast", "python itheima"])

# 需求，将RDD数据里面的一个个单词提取出来
rdd2 = rdd.flatMap(lambda x: x.split(" "))
print(rdd2.collect())
